Yamaoka chào đời tại Edo (nay là Tokyo) với tên khai sinh là Ono Tetsutaro, cha là gia thần phụng sự Mạc phủ Tokugawa và mẹ là con gái của một thần chủ từ đền Kashima. Yamaoka tập luyện kiếm thuật từ năm 9 tuổi, bắt đầu từ kiếm phái Jikishinkage-ryū. Về sau ông theo học phái Hokushin Ittō-ryū từ thầy Inoue Hachirō, được cha của Yamaoka Tesshū nhờ dạy con mình. Sau đó cả nhà ông dọn đến ở Takayama chính tại đây ông khởi đầu việc học tập kiếm thuật theo phái Nakanishi-ha Ittō-ryū. Năm mười bảy tuổi, ông trở về Edo và nhập học Kobukan của Mạc phủ và trường dạy đấu thương Yamaoka dưới sự dạy dỗ tận tình của kiếm sư Yamaoka Seizan. Không lâu sau khi Yamaoka gia nhập dōjō, Seizan qua đời, Yamaoka tiếp tục kết hôn với cô em gái của Seizan và cũng kế tục luôn cái tên Yamaoka. Ngay từ khi còn nhỏ, Yamaoka đã thể hiện năng khiếu và tài nghệ trong việc luyện tập võ thuật. Khi lớn lên, ông nổi tiếng với nhiều sở thích: kiếm thuật, thư pháp, uống rượu và ngủ nghê.

Năm 1856, ông phụ trách giảng dạy kiếm thuật tại Kobukan. Năm 1863, ông đảm nhận việc giám sát nhóm Rōshigumi (đội quân gồm toàn rōnin hoặc "samurai vô chủ" đóng vai trò như một lực lượng lính đánh thuê trợ giúp quân đội Mạc phủ). Năm 1868, ông được Mạc phủ bổ nhiệm làm đội trưởng nhóm Seieitai, đội cận vệ tinh nhuệ cho vị Tướng quân đời thứ 15 Tokugawa Yoshinobu. Ông phụng mệnh Tướng quân đi đến Sunpu tiến hành đàm phán với Saigō Takamori, và dàn xếp buổi hội kiến giữa Saigō với Katsu Kaishū, qua đó góp phần khiến toàn thành Edo mở cổng đầu hàng quân triều đình mà không gặp phải kháng cự nào cả. Từ sau Minh Trị Duy Tân, ông là viên chức của phiên Shizuoka, kế đến được tân chính phủ bổ nhiệm làm thống đốc tỉnh Imari trong một thời gian ngắn. Ít lâu sau, ông tình nguyện phụng sự triều đình của Thiên hoàng Minh Trị trong cương vị là thị vệ và phụ tá thân cận hoàng đế. Yamaoka qua đời ở tuổi 53 vào ngày 19 tháng 7 năm 1888 vì bệnh ung thư dạ dày. Trước khi mất, người ta cho rằng ông đã viết bài thơ về cái chết của mình trước giây phút lâm chung, rồi ngồi theo tư thế xếp bằng và nhắm mắt lại, bình thản đón nhận giờ phút cuối đời.[1]